Ông tổ 5 đời của Lâm là Đường Sủy, đầu đời Bắc Ngụy làm đến Bắc Hải thái thú, nên định cư ở Bình Thọ, Bắc Hải [2].

Ông kỵ là Đường Luân, làm đến Thanh Châu thứ sử (quận Bắc Hải thuộc Thanh Châu).

Ông cụ là Đường Vĩnh, làm đến Đông Ung Châu thứ sử, Vệ tướng quân, Bình Thọ bá, sử cũ có truyện. Vĩnh phục vụ chánh quyền Tây Ngụy, dời nhà vào Quan Trung.

Ông nội là Đường Cấn, làm đến Tư tông trung đại phu, kiêm Nội sử, Cô Tạng huyện công, tặng Tiểu tông bá, sử cũ có truyện.

Không rõ cha của Lâm là ai; bác của ông là Đường Lệnh Tắc, làm đến Thái tử tả thứ tử cuối niên hiệu Khai Hoàng đời Tùy Văn đế. Thái tử Dương Dũng bị phế, Văn đế kết luận Lệnh Tắc siểm nịnh thái tử, khép tội chết.